เกิดเมื่อวันที่ 4 พฤษภาคม พ.ศ. 2493 ในครอบครัวชาวไทยเชื้อสายจีนฮกเกี้ยน โดยเป็นบุตรของนายทอง (จูเสี่ยน) กัลยาศิริ (แซ่โซว) และ นางเอ่งห้อง วิไลรัตน์(แซ่เจี้ยน) ที่บ้านบางกล่ำ ตำบลบางกล่ำ อำเภอบางกล่ำ[1]จังหวัดสงขลา สำเร็จการศึกษาในระดับประถมศึกษาจากโรงเรียนสตูลวิทยา จังหวัดสตูล ระดับมัธยมศึกษาที่ โรงเรียนมหาวชิราวุธ จังหวัดสงขลา ระดับปริญญาตรีที่ คณะนิติศาสตร์ มหาวิทยาลัยธรรมศาสตร์ และระดับปริญญาโท ที่คณะรัฐประศาสนศาสตรบัณฑิต สถาบันบัณฑิตพัฒนบริหารศาสตร์

โดยในวัยเด็ก ฐานะครอบครัวลำบาก นายวิรัตน์จึงต้องเป็นเด็กวัดอาศัยอยู่ในวัดที่จังหวัดสงขลาอยู่เป็นเวลานานถึง 3 ปี เมื่อเข้ามาเรียนในกรุงเทพมหานคร ที่มหาวิทยาลัยธรรมศาสตร์ ก็อาศัยอยู่ที่วัดราชนัดดาอยู่นานถึง 9 ปี โดยใช้การเดินไปเ

สำหรับชีวิตครอบครัว ภรรยาของนายวิรัตน์เคทำงานเป็นศึกษานิเทศน์เขตพื้นที่จังหวัดสงขลา ทั้งคู่มีบุตรชายและบุตรสาวอย่างละหนึ่งคน โดยทั้งคู่จบการศึกษาจากมหาวิทยาลัยธรรมศาสตร์เช่นเดียวกัน[1]